iT邦幫忙

2021 iThome 鐵人賽

DAY 10
0
AI & Data

時間序列分析與預測方法大全系列 第 10

[Day10] 以深度學習進行時間序列預測 — 概論

  • 分享至 

  • xImage
  •  

介紹完機器學習預測時間序列,接著連續幾篇要進入到深度學習的範疇。

我們會提到在時間序列預測的命題上,深度學習和機器學習的不同、優化的邏輯,
並且整理有哪些神經網絡常用於時間序列預測,從比較單純的模型架構,到結合不同類型神經網絡的方法。

今日大綱

  • 時間序列預測:深度學習 v.s. 機器學習
  • 常用於序列訓練的神經網絡
  • 多神經網絡的組合

時間序列預測:深度學習 v.s. 機器學習

最大的差別在於,深度學習神經網絡能夠捕捉序列特徵,機器學習則只能以聚合特徵或生成其他時間特徵,來代表一段時間序列中的資訊。

做法差異

  • 機器學習
    將一段時間序列的特徵聚合或取統計指標計算(例如自迴歸特徵、差分特徵等),再建模做監督式學習迴歸預測

  • 神經網絡
    保留原始時間序列的顆粒度,針對原始序列結構設計神經網絡輸入層架構,後續再根據模型表現優化、調整模型架構、超參數,例如加入 Dropout Layer、接上不同特性的神經網絡等

常用於序列訓練的神經網絡

最能夠利用序列特性的神經網絡架構,非遞歸神經網絡莫屬;且序列數據不僅限於時間序列,如語音、文本等。
遞歸神經網絡的概念是,透過記住前面出現的特征推斷結果,並且網絡結構不斷循環。

遞歸神經網絡家族有幾個經典款:(包含 RNN 的變形)

  • RNN(Recurrent Neural Network,遞歸神經網絡本人)
  • LSTM(Long Short-Term Memory,長短期記憶模型)
    • 因應 RNN 會有梯度消失問題,無法在長時間序列上有好的記憶性表現,因此通過 3 種閘門(Gate)控制,結合短期記憶與長期記憶,分別是 input gate, forget gate, output gate
  • GRU(Gated Recurrent Unit)
    • 2014 年根據 LSTM 架構再改良,將 forget gate 和 output gate 整合成一個 "update gate"
    • 成效和 LSTM 相近,但因為減少一個 gate,所以參數比 LSTM 少,因此也減少了運算量、加快訓練速度

*那 Transformer 適用於時間序列預測嗎?

Self-Attention 機制、預訓練模型在語言序列上的良好表現,如出現 BERT 這樣的高適用度模型;那 Transformer 的表現有比 LSTM/GRU 來得好嗎?

Transformer 的 Encoder-Decoder 框架雖然有 position embedding 來捕捉位置順序資訊,但 LSTM/GRU 這種遞歸捕捉時序關係的特性,Transformer 不一定能夠替代得了;因此在大宗相關論壇也都討論到,在數據量大、或能夠使用 pre-train model 的情況下(例如眾多 NLP 任務,像是文本分類、情感分析、問答、語意推論、文本生成等),使用 Transformer 架構表現是更好的,但遇到具有更明顯時序關係(例如季節性循環等)的資料時, LSTM/GRU 還是有不可取代的地位。

不同的 LSTM 架構

  • Vanilla LSTM
    單一層 LSTM
  • Stacked LSTM
    疊兩層以上的 LSTM,要將第一層的參數 return_sequence 設為 True
  • Bidirectional LSTM
    使序列同時以順向和反向輸入模型。例如:學習上下文語意(這個在預測時間序列的未來時間點,稍微比較難

多神經網絡的組合

  • Timedistributed CNN+LSTM
    基本概念是取兩種模型的優勢加在一起:
    • CNN:擅長對各個時間序列截面進行特徵萃取
    • LSTM:學習不同時間點的相關性
  • Convolutional LSTM
    將 CNN 的 Convolution 應用至 LSTM,常用於影像序列(多張圖片或影片)資料(有點超出時間序列範疇,不過目的是希望將 LSTM 相關的模型架構組合可以列得完整一點)

本篇【以深度學習進行時間序列預測:概論】就到這邊,下一篇我們會從 RNN、LSTM 開始介紹,然後一篇一篇帶到上面列出的模型。


上一篇
[Day9] 機器學習進行時間序列預測及注意事項(下)
下一篇
[Day11] 以神經網絡進行時間序列預測 — RNN
系列文
時間序列分析與預測方法大全13
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言